Multivariate Hawkes processes are temporal point processes extensively applied to model event data with dependence on past occurrences and interaction phenomena. In the generalised nonlinear model, positive and negative interactions between the components of the process are allowed, therefore accounting for so-called excitation and inhibition effects. In the nonparametric setting, learning the temporal dependence structure of Hawkes processes is often a computationally expensive task, all the more with Bayesian estimation methods. In general, the posterior distribution in the nonlinear Hawkes model is non-conjugate and doubly intractable. Moreover, existing Monte-Carlo Markov Chain methods are often slow and not scalable to high-dimensional processes in practice. Recently, efficient algorithms targeting a mean-field variational approximation of the posterior distribution have been proposed. In this work, we unify existing variational Bayes inference approaches under a general framework, that we theoretically analyse under easily verifiable conditions on the prior, the variational class, and the model. We notably apply our theory to a novel spike-and-slab variational class, that can induce sparsity through the connectivity graph parameter of the multivariate Hawkes model. Then, in the context of the popular sigmoid Hawkes model, we leverage existing data augmentation technique and design adaptive and sparsity-inducing mean-field variational methods. In particular, we propose a two-step algorithm based on a thresholding heuristic to select the graph parameter. Through an extensive set of numerical simulations, we demonstrate that our approach enjoys several benefits: it is computationally efficient, can reduce the dimensionality of the problem by selecting the graph parameter, and is able to adapt to the smoothness of the underlying parameter.
translated by 谷歌翻译
We are witnessing a widespread adoption of artificial intelligence in healthcare. However, most of the advancements in deep learning (DL) in this area consider only unimodal data, neglecting other modalities. Their multimodal interpretation necessary for supporting diagnosis, prognosis and treatment decisions. In this work we present a deep architecture, explainable by design, which jointly learns modality reconstructions and sample classifications using tabular and imaging data. The explanation of the decision taken is computed by applying a latent shift that, simulates a counterfactual prediction revealing the features of each modality that contribute the most to the decision and a quantitative score indicating the modality importance. We validate our approach in the context of COVID-19 pandemic using the AIforCOVID dataset, which contains multimodal data for the early identification of patients at risk of severe outcome. The results show that the proposed method provides meaningful explanations without degrading the classification performance.
translated by 谷歌翻译
统计监督的学习框架假设了一个输入输出集,其联合概率分布可可靠地由培训数据集表示。然后,要求学习者从培训数据集的输入输出对中输出从培训数据集的输入规则。在这项工作中,我们在机器学习的背景下,我们提供了对渐近式式属性属性(AEP)\ citep {Shannon:1948}的有意义的见解,并阐明了其一些潜在的后果,以实现几次学习。我们为信息理论AEP下的可靠学习提供了理论保证,以及相对于样本量的概括错误。然后,我们专注于高效的复发性神经网(RNN)框架,并提出了用于几次学习的降低渗透算法。我们还提出了RNN的数学直觉,作为稀疏编码求解器的近似值。我们通过图像脱张和光学相干断层扫描(OCT)示例验证所提出方法的适用性,鲁棒性和计算效率。我们的实验结果表明,改善学习模型的样本效率,概括和时间复杂性的显着潜力,因此可以利用实时应用。
translated by 谷歌翻译
混合成员非线性优化是具有组合结构和非线性的广泛问题。典型的精确方法将分支和结合的方案与放松和分离子例程相结合。我们研究了基于此设置的Frank-Wolfe算法的错误自适应一阶方法的属性和优势,仅需要梯度甲骨文来实现目标函数和可行集合上的线性优化。特别是,我们将研究通过分支和结合方法进行优化的算法后果,在这种方法中,由于Frank-Wolfe线性甲骨文而引起的混合构件的凸面上的子问题与解决连续放松上的子问题相比同一组。这种新颖的方法在处理多面体约束的单个表示时计算可行的解决方案,利用了没有外近似方案的混合智能编程(MIP)求解器的全部范围。
translated by 谷歌翻译
口服食物挑战(OFC)对于准确诊断患者的食物过敏至关重要。但是,患者不愿接受OFC,对于那些这样做的患者,在农村/社区医疗保健环境中,对过敏症患者的使用率有限。通过机器学习方法对OFC结果的预测可以促进在家中食品过敏原的删除,在OFC中改善患者和医师的舒适度,并通过最大程度地减少执行的OFC的数量来节省医疗资源。临床数据是从共同接受1,284个OFC的1,12例患者那里收集的,包括临床因素,包括血清特异性IgE,总IgE,皮肤刺测试(SPTS),症状,性别和年龄。使用这些临床特征,构建了机器学习模型,以预测花生,鸡蛋和牛奶挑战的结果。每种过敏原的最佳性能模型是使用凹入和凸内核(LUCCK)方法创建的,该方法在曲线(AUC)(AUC)下分别用于花生,鸡蛋和牛奶OFC预测为0.76、0.68和0.70, 。通过Shapley添加说明(SHAP)的模型解释表明,特定的IgE以及SPTS的Wheal和Flare值高度预测了OFC结果。该分析的结果表明,机器学习有可能预测OFC结果,并揭示了相关的临床因素进行进一步研究。
translated by 谷歌翻译
部署的AI系统通常不起作用。它们可以随意地构造,不加选择地部署并欺骗性地促进。然而,尽管有这一现实,但学者,新闻界和决策者对功能的关注很少。这导致技术和政策解决方案的重点是“道德”或价值一致的部署,通常会跳过先前的问题,即给定系统功能或完全提供任何好处。描述各种功能失败的危害,我们分析一组案例研究,以创建已知的AI功能问题的分类法。然后,我们指出的是政策和组织响应,这些策略和组织响应经常被忽略,并在功能成为重点后变得更容易获得。我们认为功能是一项有意义的AI政策挑战,是保护受影响社区免受算法伤害的必要第一步。
translated by 谷歌翻译
具有常识性推理(CSR)能力的编程机器是人工智能界的长期挑战。当前的CSR基准测试使用多项选择(在相对较少的情况下,生成的)提问实例来评估机器常识。基于变压器的语言表示模型的最新进展表明,现有基准取得了很大进展。然而,尽管目前存在数十个CSR基准,并且正在增长,但尚不清楚全面的常识能力套件已被系统地评估。此外,人们对语言模型是否“适合”基准数据集的培训分区存在疑问,因为它可以通过微妙但无关紧要(至少对于CSR而言),这是在测试分区上实现良好性能的统计功能。为了应对这些挑战,我们提出了一个名为理论上的常识性推理(TG-CSR)的基准,该基准也基于歧视性问题的回答,但旨在评估常见方面的各个方面,例如时空,时间和世界国家。 TG-CSR基于Gordon和Hobbs首先提出的常识性类别的子集。基准还设计为几乎没有射击(并且将来,零射),只提供了少数培训和验证示例。该报告讨论了基准的结构和构建。初步结果表明,即使对于为歧视性企业社会责任的问题回答任务而设计的高级语言表示模型,基准也是挑战性的。基准访问和排行榜:https://codalab.lisn.upsaclay.fr/competitions/3080基准网站:https://usc-isi-i2.github.io/tgcsr/
translated by 谷歌翻译
专门的基于变形金刚的模型(例如生物Biobert和Biomegatron)适用于基于公共可用的生物医学语料库的生物医学领域。因此,它们有可能编码大规模的生物学知识。我们研究了这些模型中生物学知识的编码和表示,及其支持癌症精度医学推断的潜在实用性 - 即,对基因组改变的临床意义的解释。我们比较不同变压器基线的性能;我们使用探测来确定针对不同实体的编码的一致性;我们使用聚类方法来比较和对比基因,变异,药物和疾病的嵌入的内部特性。我们表明,这些模型确实确实编码了生物学知识,尽管其中一些模型在针对特定任务的微调中丢失了。最后,我们分析了模型在数据集中的偏见和失衡方面的行为。
translated by 谷歌翻译
与痴呆症相关的认知障碍(CI)在全球范围内影响超过5500万人,并且每3秒钟以一个新病例的速度迅速增长。随着临床试验反复出现的失败,早期诊断至关重要,但是在低水平和中等收入国家中,全球75%的痴呆症病例未被诊断为90%。众所周知,当前的诊断方法是复杂的,涉及对医学笔记,大量认知测试,昂贵的脑部扫描或脊柱液体测试的手动审查。与CI相关的信息经常在电子健康记录(EHR)中找到,并且可以为早期诊断提供重要线索,但是专家的手动审查是繁琐的,并且容易发生。该项目开发了一种新型的最新自动筛选管道,用于可扩展和高速发现EHR中的CI。为了了解EHR中复杂语言结构的语言环境,构建了一个8,656个序列的数据库,以训练基于注意力的深度学习自然语言处理模型以对序列进行分类。使用序列级别分类器开发了基于逻辑回归的患者级别预测模型。深度学习系统的精度达到了93%,AUC = 0.98,以识别其EHR中没有较早诊断,与痴呆有关的诊断代码或与痴呆有关的药物的患者。否则,这些患者将未被发现或检测到太晚。 EHR筛选管道已部署在Neurahealthnlp中,这是一种用于自动化和实时CI筛选的Web应用程序,只需将EHR上传到浏览器中即可。 Neurahealthnlp更便宜,更快,更容易获得,并且胜过当前的临床方法,包括基于文本的分析和机器学习方法。它使得早期诊断可在稀缺的医疗服务中可行,但可访问的互联网或蜂窝服务。
translated by 谷歌翻译
为了解释神经NLI模型及其推理策略,我们进行了一个系统的探测研究,调查了这些模型是否捕获了自然逻辑的至关重要:单调性和概念包容性。在向下单调上下文中正确识别有效推论是NLI性能的已知绊脚石,包括否定范围和广义量子等语言现象。要了解这种困难,我们将单调性强调为上下文的属性,并检查模型在中文嵌入中捕获单调信息的程度,这些嵌入式是其决策过程的中间嵌入。绘制最近探测范式的进步,我们比较各种模型的单调性功能的存在。我们发现,单调信息在基准测试中实现高分的流行NLI模型的表现中,并观察到基于微调策略的这些模型的改进引入了更强大的单调性功能,以及他们在挑战集上的提高性能。
translated by 谷歌翻译